

global projectdir "~"
global datadir "$projectdir/data"
global ipeds_dir "$datadir/ipeds/"


clear
gen unitid = .
cd $datadir/intermediate_files
save organize_ipeds_ein, replace


forvalues i = 2002/2017 {

	display in red "------ `i' -------"

	cd $ipeds_dir/`i'
	import delimited "hd`i'.csv", clear delimiter(comma) varnames(1)
	keep unitid instnm ein
	tostring ein, replace
	gen year = `i'
	
	cd $datadir/intermediate_files
	append using organize_ipeds_ein
	save organize_ipeds_ein, replace
}

order unitid year ein
sort unitid ein year
compress
cd $datadir/intermediate_files
save organize_ipeds_ein, replace

use organize_ipeds_ein, clear
keep unitid ein
duplicates drop
* drop bad eins
gen len = length(ein)
replace ein = "0" + ein if len == 8
replace ein = "00" + ein if len == 7
replace ein = "000" + ein if len == 6
replace ein = "0000" + ein if len == 5
replace ein = "00000" + ein if len == 4
replace ein = "000000" + ein if len == 3
drop len

duplicates drop
duplicates tag unitid, gen(dup)
drop dup

cd $datadir/intermediate_files
save organize_ipeds_ein, replace



